Tại phiên họp ngày 27 tháng 9 năm 1945, Hội đồng Chính phủ Cách mạng lâm thời Việt Nam Dân chủ Cộng hòa đã bàn bạc và nhất trí để Nguyễn Hải Thần giữ chức Phó Chủ tịch Chính phủ mà không thông qua bầu cử. Ông giữ chức vụ này từ tháng 1 đến tháng 7 năm 1946, khi tranh chấp giữa Việt Minh và các phe phái đối lập xảy ra, Nguyễn Hải Thần phải bỏ trốn sang Trung Quốc.

Điều thứ 44 Hiến pháp Việt Nam Dân chủ Cộng hòa 1946 lần đầu tiên quy định chức vụ Phó Chủ tịch Nước. Điều 46 cũng quy định "Phó chủ tịch nước Việt Nam dân chủ cộng hoà chọn trong nhân dân và bầu theo lệ thường". Tuy nhiên, chức vụ này trên thực tế không có người đảm nhiệm.

Từ năm 1960, Tôn Đức Thắng là người đầu tiên được bầu vào chức vụ này và ông cũng là người kế vị chức vụ Chủ tịch nước sau khi Chủ tịch Hồ Chí Minh qua đời vào năm 1969. Ông tiếp tục giữ chức vụ Chủ tịch nước cho đến khi qua đời vào năm 1980. Thay thế ông ở chức vụ Phó Chủ tịch nước là Nguyễn Lương Bằng (từ 1969 đến 1979).